Nosso objetivo foi analisar as limitações da avaliação bibliométrica baseada no uso da citação; e refletir sobre a influência desta forma de avaliação da produção de conhecimento na área da Educação Física, especialmente na pós-graduação. Fizemos uma descrição das principais limitações dos indicadores (fator de impacto e índice h) utilizados no Brasil para avaliação da produção de pesquisa. Revistas e pesquisadores podem estar mudando seu comportamento para aumentar seu impacto no sistema de avaliação, com consequências como o distanciamento entre o que é produzido na área de conhecimento e sua relevância social e acadêmica. As formas de avaliação precisam ser (re)pensadas de forma mais profícua, quanto aos seus efeitos sobre a qualidade das publicações científicas. Consideramos fundamental um maior envolvimento por parte da comunidade acadêmica e científica, em discussões sobre as consequências que o uso desses indicadores baseados em citação pode trazer para a área da Educação Física.

The aim was examine the limitations of bibliometric evaluation based on citation, and discuss the influence of this form of assessment of knowledge production in Physical Education, especially in post-graduate programs. Thus, we made a description of the main limitations of the bibliometric indicators (impact factor and h-index) used in Brazil to assess the production in research. Journals and researchers may be changing their behavior to increase their impact/score in the evaluation system, with consequences like the gap between what is produced in the area of Physical Education and its academic and social relevance. We consider that the forms of assessment need to be (re)designed as well as the quality of scientific publications more productively considered. We believe it is crucial a greater involvement of the academic and scientific community in discussions about the consequences of using these citation-based indicators to the area of Physical Education.

Nuestro objetivo fue analizar las limitaciones de la evaluación bibliométrica basadas en el uso de la citación y reflexionar sobre la influencia de este tipo de evaluación de la producción de conocimiento en el área de Educación Física, sobre todo en la posgrado. Describimos las principales limitaciones de los indicadores (factor de impacto y índice h) utilizados en Brasil para evaluar la investigación cientifica. Revistas y investigadores pueden cambiar su comportamiento para incrementar su impacto en el sistema de evaluación, con consecuencias como la brecha entre lo conocimiento producido en la área y su relevancia social y académica. Las formas de evaluación deben ser (re)pensadas, por sus efectos sobre la calidad de las publicaciones. Consideramos que es esencial una mayor participación de la comunidad académica y científica en los debates sobre las consecuencias que el uso de estos indicadores bibliométricos pueden aportar al área de Educación Física.

Nosso objetivo foi analisar os principais pontos de debates sobre o impacto do sistema de avaliação da pós-graduação na produção intelectual em Educação Física a partir de artigos disseminados em periódicos da área entre 2006 e 2009. Adotamos a abordagem qualitativa, especificamente a análise documental de artigos publicados nos últimos três anos. Analisamos o conteúdo de sete artigos em duas categorias de análise: (a) aspectos do sistema de avaliação Qualis e (b) reflexões sobre a influência deste sistema de avaliação na produção de conhecimento em Educação Física. Consideramos que os critérios utilizados para avaliar a produção científica na Educação Física precisam considerar a utilização de diferentes referenciais teórico-metodológicos, implicando a necessidade de se reconhecer que a disseminação do conhecimento produzido poderá ser realizada em veículos de comunicação diferentes.

Our purpose was to analyze the main debate points on the impact of the post-graduation evaluation system on the intellectual output in Physical Education, based on articles available in periodicals of the area between 2006 and 2009. The qualitative approach was adopted, specifically the documental analysis of articles published in the last three years. The content of seven articles was analyzed in two categories: (a) Qualis-CAPES evaluation system aspects and (b) reflections on the influence of this evaluation system on the production of knowledge in Physical Education. It was observed that the criteria used for evaluating the scientific output in Physical Education need to consider the use of different theoretical-methodological frameworks, which implies the necessity of admitting that the dissemination of the produced knowledge can be carried out in different communication media.